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IN PARTICULAR FOR TECHNICAL AND INDUSTRIAL APPLICATIONS 

(54) Bezeichnung: SYSTEM UND VERFAHREN ZUR DOKUMENTATIONSVERARBEITUNG MIT MEHRSCHICHTTGER STRUK- 
TURIERUNG VON INFORM ATIONEN, INSBESONDERE FOR TECHNISCHE UND INDUSTR IELLE ANWEN- 
DUNGEN 

(57) Abstract 

The invention relates to a system and a method for processing 
documentation, in particular for technical and industrial applications 
which comprises storage elements (1) for saving documentation data 
(II. .In) on several levels (El.JEm), input elements (2) for inputting real 
information (R), access elements for accessing the documentation data 
(II. .In) and evaluation elements (A) for evaluating the real information 
(R) and for selecting the saved documentation data, based on said real 
information (R). Said system and method enable, for example, in situ 
service applications, that is for example, at an automation installation, 
to access documentation data in a structured and selective manner by 
integrating documentation data (II. .In) as augmented reality. 

(57) Zusammenfassung 

Die Erfindung betrifft ein System und ein Verfahren zur Doku- 
mentationsverarbeitung, insbesondere fur technische und industrielle 
Anwendungen mit Speichermitteln (1) zur Speicherung von Doku- 
mentationsdaten (II. .In) in mehreren Ebenen (El. .Em) und mit Erfas- 
sungsmitteln (2) zur Erfassung von realen Informationen (R), mit Zu- 
griffsmitteln zum Zugriff auf die Dokumentationsdaten (II. .In) und mit 

Auswertemitteln (A) zur Auswertung der realen Information (R) und zur Auswahl der gespeicherten Dokumentationsdaten in Abhangigkeit 
der realen Informationen (R). Hierdurch wird beispielsweise fur Serviceanwendungen vor Ort, d.h. beispielsweise am Ort einer Automa- 
tisierungsanlage durch die Einbindung der Dokumentationsdaten (H»In) als Augmented-Reality ein strukturierter und selektiver Zugriff auf 
die Dokumentationsdaten erm6glicht. 
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Beschreibung 

System und Verfahren zur Dokuirientationsverarbeitung mit mehr- 
schichtiger Strukturierung von Informationen, insbesondere 
5 fur technische und industrielle Anwendungen 

Die Erfindung betrifft ein System und ein Verfahren zur Doku- 
irientationsverarbeitung insbesondere fiir technische und indu- 
strielle Anwendungen. 

10 

Ein derartiges System und Verfahren kommt beispielsweise im 
Zusammenhang mit sogenannten Augmented-Reality-Techniken zum 
Einsatz . Dabei geht es um eine anwendungsorientierte Anf orde- 
rungsanalyse und Entwicklung von AR-basierten Systemen zur 
15 Untersttitzung von Arbeitsprozessen in Entwicklung, Produktion 
und Service komplexer technischer Produkte und Anlagen in der 
Fertigungs- und Verf ahrenstechnik, sowie fiir Systeme zur Ser- 
viceuntersttitzung wie bei Kraft fahrzeugen oder fur die War- 
tung beliebiger technischer Gerate . 

20 Der Erfindung liegt die Aufgabe zugrunde, ein System und ein 
Verfahren anzugeben , das einen situationsgerechten schnellen 
Zugriff auf gespeicherte Dokumenationsdaten ermoglicht. 

Diese Aufgabe wird durch ein System zur Dokuirientationsverar- 
beitung insbesondere fur technische und industrielle Anwen- 

25 dungen gelost, mit Speichermitteln zur Speicherung von Doku- 
mentationsdaten in mehreren Ebenen und mit Erf assungsmitteln 
zur Erfassung von realen Informationen, mit Zugriff smitteln 
zum Zugriff auf die Dokumentationsdaten und mit Auswertemit- 
teln zur Auswertung der realen Information und zur Auswahl 

30 der gespeicherten Dokumentationsdaten in AbhSngigkeit der 
realen Informationen . 

Diese Aufgabe wird durch ein Verfahren zur Dokuirientationsver- 
arbeitung insbesondere far technische und industrielle Anwen- 
35 dungen gelds t, bei dem Dokumentationsdaten in mehreren Ebenen 
gespeichert werden und reale Informationen mit Erf assungsmit- 
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teln erfafit werden, bei dem auf die Dokumentationsdaten in 
der Weise zugegriffen wird, dafi die realen Inf ormationen aus- 
gewertet werden und in Abhangigkeit der realen Inf ormationen 
die gespeicherten Dokumentationsdaten ausgewahlt werden. 

5 

Bei den Dokumentationsdaten kann es sich beispielsweise urn 
bei der Errichtung einer Anlage oder eines Automatisierungs- 
systems erstellte und gesammelte Daten und/ oder auch im Be- 
trieb einer Anlage oder eines Automatisierungssystems nach 

10 vorgebbaren Kriterien gepflegte und jeweils aktualisierte Do- 
kumentationsdaten handeln. Diese Dokumentationsdaten konnen 
auf Speichermittel gespeichert sein, die sowohl lokal, d.h. 
am Ort der jeweiligen Anwendung oder auch an jeden beliebig 
anderen Ort, beispielsweise am Ort der jeweiligen Hersteller- 

15 firmen der einzelnen Anlagenkomponenten, gespeichert werden. 
Mit Hilfe der Erf assungsmittel werden beispielsweise aus ei- 
nem Bildinhalt die realen Inf ormationen erfaSt und fiber die 
Auswertemittel ausgewertet, so daS eine Zuordnung der realen 
Objekte zu in den Dokumentationsdaten gespeicherten Objektda- 

20 ten moglich wird. Anhand der realen Inf ormationsdaten, bei- 
spielsweise in Form eines detektierten Objekts werden dann 
insbesondere automatisch die zusatzlichen in dem Dokumenta- 
tionsdaten enthaltenen Objektdaten ausgewahlt und beispiels- 
weise far Servicezwecke vor Ort zur Verfugung gestellt. Hier- 

25 durch wird ein situationsgerechter schneller Zugang zu den 
jeweils benotigten Daten ermoglicht. 

Eine komponentenorientierte Unterstutzung durch die gespei- 
cherten Dokumentationsdaten kann dadurch sichergestellt wer- 
30 den, daS die Dokumentationsdaten objektorientiert gespeichert 
sind. Als reales Objekt wird beispielsweise ein Tank einer 
Anlage erfaSt und identif iziert , wobei die diesem Objekt 
„Tank w zugeordneten Dokumentationsdaten, bespielsweise Bau- 
jahr, FassungsvermSgen, etc. visualisiert werden. 

35 

Ein schneller situationsgerechter Zugang zu den Dokumenta- 
tionsdaten wird dadurch weiter untersttitzt , daS die Erfas- 
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sungsmittel eine Bildauf nahmevorrichtung aufweisen, daS die 
Auswertemittel zur Auswertung der realen Information in der 
Weise vorgesehen sind, dafi aus der realen Information ein 
Eisatzkontext , insbesondere ein Objekt der Dokumentationsda- 
5 ten ermittelt wird und da£ das System Visualisierungsmittel 
zur Visualisierung der Dokumentationsdaten aufweist. 

Ein anwenderges teuer ter Zugriff auf die Dokumentationsdaten 
kann dadurch erzielt werden, daS die Erf assungsmittel anwen- 
10 dergesteuert sind und insbesondere als sprachges teuer te Er- 
f assungsmittel und/oder durch Steuerdaten gesteuerte Erfas- 
sungsmittel ausgebildet sind. 

Ein fur viele Anwendungsf &lle optimaler Einsatz von Augemted- 
15 Reality-Techniken auf Basis der gespeicherten Dokumentations- 
daten kann in der Weise erfolgen, dafi die Erf assungsmittel 
und/oder die Visualisierungsmittel als Datenbrille ausgebil- 
det sind. 

20 Im f olgenden wird die Erf indung anhand der in den Figuren 

dargestellten Ausfiihrungsbeispiele naher beschrieben und er- 
lautert. 



25 



Es zeigen: 

FIG 1 ein Blockschaltbild eines Ausf tihrungsbeispiels ei- 

nes Systems zur Dokumentationsverarbeitung, 

FIG 2 ein Anwendungsbeispiel eines Systems zur Dokumenta- 

30 tionsverarbeitung fur Service und Wartung und 

FIG 3 ein Anwendungsbeispiel fur einen situationsgerech- 

ten Zugriff auf Dokumentationsdaten. 

35 Figur 1 zeigt ein Blockschaltbild eines Systems zur struktu- 
rierten Dokumentationsverarbeitung unter Zuhilfenahme von 
auch Augmented- Reality-Techniken. Das System umfafit Speicher- 
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mittel 1 zur Speicherung von Dokumentationsdaten II., In. Die 
Dokumentationsdaten II.. In sind in mehreren Ebenen El.. Em ge- 
speichert. Ober eine Datenverbindung D sind die Speichermit- 
tel 1 mit Auswertemitteln A koppelbar, wobei die Auswertemit- 
5 tel A mit Erf assungsmitteln 2 und Visualisierungsmitteln kop- 
pelbar sind. Die Erf assungsmittel 2 sind bei den in Figur 1 
dargestellten Ausftthrungsbei spiel als Kamera und die Visua- 
lisierungsmittel B als Bildschirm dargestellt. Bei einer an- 
deren Ausf uhrungsf orm kann es sich bei den Erf assungsmitteln 
10 2 und den Visualisierungsmitteln B jedoch auch um eine Daten- 
brille mit integrierter Videokamera handeln. Die Erf assungs- 
mittel 2 dienen zur Erfassung von realen Inf ormationen R, 
beispielsweise von einzelnen Komponenten einer industriellen 
Anlage und/oder einer Automatisierungsanlage . 

15 

Figur 1 bildet die Grundstruktur eines Systems zur Dokumen- 
tationsverarbeitung unter Anwendung von Augmented-Reality- 
Techniken mit in verschiedenen Ebenen gespeicherten Dokumen- 
tationsdaten II.. In. Ein Anwendungsszenario sieht dabei fol- 

20 gendermaSen aus: Mit Hilfe der Erf assungsmittel 2 werden 

reale Inf ormationen, beispielsweise eine Anlage in Form von 
Bildinf ormationen erfafit. Diese realen Inf ormationen R werden 
mit Hilfe der Auswertemittel A dahingehend ausgewertet, ein- 
zelne Objekte, d.h. beispielsweise einzelne Komponenten eines 

25 Automatisierungssystems zu detektieren. Dies kann beispiels- 
weise in Form von an den realen Objekten angebrachten Zusatz- 
inf ormationen, beispielsweise durch Bar-Code-Auf kleber er- 
folgen oder durch Vergleich der Bildinf ormationen mit in den 
Auswertemitteln A und/oder den Dokumentationsdaten 1 gespei- 

30 cherten Vergleichsdaten . Nach Ermittlung eines gewunschten 

Objekts, welches mit der realen Information R korrespondiert , 
werden automat isch und/oder vom Anwender gesteuert die in 
mehreren Ebenen El.. Em gespeicherten Dokumentationsdaten auf- 
gerufen und ttber die Visualisierungsmittel B dem Anwender 7 

35 mit Hilfe der Visualisierungsmittel B dargestellt. Diese Do- 
kumentationsdaten II. .In bilden eine Zusatzinf ormation, die 
den Anwender 7 beispielsweise bei der Reparatur, bei der War- 
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tung, etc. unterstiitzen . Er enthS.lt einen situationsgerechten 
schnellen Zugriff auf die jeweils benotigten Daten. Die Do- 
kumentationsdaten II . . In konnen dabei entweder vor Ort bei- 
spielsweise auf einer Datenverarbeitungsvorrichtung gespei- 
5 chert sein oder auch an entfernten Orten, wobei in diesem 

Fall ein Zugriff auf die Inf ormationsdaten II,. In beispiels- 
weise uber Internetanbindung erfolgen kann. 

Figur 2 zeigt ein Anwendungsbei spiel eines Systems zur Doku- 

10 mentationsverarbeitung fur Service und Wartung. Das System 
besteht aus einem Augmented-Reality- System 10, welches im 
folgenden auch abkurzend als AR-System bezeichnet wird. Das 
AR- System enthalt ein Inf ormationsmodul lb, zur Speicherung 
von Inf ormationsdaten, ein AR-Basissystem 8 sowie ein AR-An- 

15 wendungsmodul . Das AR-System ist tiber eine Netzanbindung 5, 

beispielsweise eine Interne tverbindung mit weiteren Speicher- 
mitteln la verbindbar. Die Anwenderkommunikation zwischen ei- 
nem Anwender 7 und dem AR-System 10 erfolgt iiber Schnittstel- 
len 8a, 8b. Hierzu weist das AR-System eine Sende-Empf angs- 

20 Vorrichtung auf, die eine bidirektionale Datenkommunikation 
zwischen dem AR-System und dem Anwender 7 uber eine Daten- 
brille 4 entweder direkt iiber die Schnittstelle 8a oder iiber 
ein im Bereich des Anwender s 7 angeordnete Funk-Sende-Emp- 
f angs-Einrichtung 6 mit einer Schnittstelle 8b zum Anwender 7 

25 ermoglicht. Bei dem Anwender 7 handelt es sich beispielsweise 
um einen Servicetechniker , der zur Wartung von Anlagen Al..An 
eingesetzt wird. Mit Hilfe der Datenbrille 4 ist es fiir den 
Anwender 7 mdglich, sich frei in den Anlagen Al..An zu bewe- 
gen. 

30 

Die Funktionsweise des in Figur 3 dargestellten Systems ent- 
spricht im wesentlichen den bereits im Zusammenhang mit Figur 
1 erlauterten Funktionsweisen. Der Anwender 7 betrachtet bei- 
spielsweise eine einzelne Anlagenkomponente . Mit Hilfe der 
3 5 auf der Datenbrille 4 angeordneten Kamera, die als Erfas- 

sungsmittel dient, werden die realen Inf ormationen an das AR- 
System 10 ubertragen. Dort erfolgt eine Auswertung der realen 
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Inf ormationen und ein Zugrif f auf die in den ersten Speicher- 
mitteln la oder den zweiten Speichermitteln lb gespeicherten 
Dokumentationsdaten. Die Dokumentationsdaten werden dem An- 
wender 7 Ober eine in der Datenbrille 4 angeordnete Visuali- 
5 sierungseinrichtung visualisiert und objektorientiert und si- 
tuationsgerecht zur Verfttgung gestellt. 

Figur 3 zeigt ein Anwendungsbeispiel far einen situationsge- 
rechten Zugrif f auf Dokumentationsdaten. Hierzu ist in einem 

10 linken Bildausschnitt Bl ein Blick auf Rohrleitungen darge- 
stellt, die mit einen in einem Bildfenster B2 dargestellten 
Datenbrille 4 betrachtet werden konnen. An der Datenbrille 4 
sind Erfassungsmittel 2, beispielsweise in Form einer Video- 
kamera angeordnet. Im linken Bild Bl sind zwei Punkte PI, P2 

15 markiert, die jeweils zwei mit Hilfe der Datenbrille 4 be- 

trachtete Bildausschnitte reprasentieren. Bei Betrachtung des 
ersten Punktes PI, d.h. bei Betrachtung der im Bereich des 
Punktes PI angeordneten Rohrleitung werden dem Anwender 7 Zu- 
satzinf ormationen in der Datenbrille 4 visualisiert. Diese 

20 Zusatzinf ormationen 111, 112 bestehen aus Dokumentationsda- 
ten, die beztiglich des ersten Punktes PI Arbeitsanweisungen 
beztiglich dieses Rohrstucks enthalten und beztiglich des Punk- 
te P2 die in einem zweiten Schritt durchzuf uhrende Installa- 
tionsanweisung beinhalten. Die Installationsanweisung besteht 

25 in diesem Fall darin, dafi dem Anwender 7 das Drehmoment und 
die Drehrichtung der Schraubverbindung des Punktes P2 liber 
die Visualisierung E12 mitgeteilt wird. An der Datenbrille 4 
ist darttber hinaus ein Mikrofon 11 angeordnet, iiber das der 
Anwender sprachgesteuert eine gezielte Auswahl der 

30 Dokumentationsdaten unterstiitzen kann. 

Im folgenden werden Hintergrundinf ormationen zu Einsatzgebiet 
der Erfindung gegeben: Es geht dabei urn eine anwendungsorien- 
tierte Anf orderungsanalyse und Entwicklung von AR-basierten 
35 Systemen zur Unterstutzung von Arbeitsprozessen in Entwick- 
lung, Produktion und Service komplexer technischer Produkte 
und Anlagen in der Fertigungs- und Verf ahrenstechnik, sowie 
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far Systeme zur Serviceunterstutzung wie bei Kraf tf ahrzeugen 
oder fur die Wartung beliebiger technischer Gerate. 



Augmented Reality, kurz AR, ist eine neue Art der Mensch- 
5 Technik-Interaktion mit grofiem Potential zur Unterstiitzung 
von industriellen Arbeitsprozessen. Bei dieser Technologie 
wird das Sichtfeld des Betrachters mit rechnergenerierten 
virtuellen Objekten angereichert , so dafi Produkt- bzw. Pro- 
zeiSinf ormationen intuitiv genutzt werden konnen. Neben der 
10 sehr einfachen Interaktion erschlieSt der Einsatz tragbarer 
Computer AR- Anwendungs f elder mit hohen Mobilitatsanf orde- 
rungen, wenn beispielsweise Prozefi- , Me£- oder Simulationsda- 
ten an das reale Objekt geknupft werden. 

15 Die Situation der deutschen Industrie ist durch steigende 

Kundenanf orderungen an Individualitat und Qualitat der Pro- 
dukte sowie durch eine wesentliche Zeitverkurzung der Entste- 
hungsprozesse gekennzeichnet . Insbesondere in Entwicklung, 
Produktion und Service komplexer technischer Produkte und An- 

20 lagen konnen mit innovativen Losungen fiir die Mensch-Technik- 
Interaktion sowohl Effizienz- und Produktivitatssprunge er- 
zielt werden, als auch die Arbeit kompetenz- und lernforderl- 
ich gestaltet werden, indem der Wissens- und Inf ormationsbe- 
darf der Benutzer auf der Basis ohnehin vorliegender Daten 

25 situationsgerecht unterstiitzt wird. 

Augmented Reality ist eine Technologie mit einer Vielzahl 
innovativer Anwendungsf elder : 

• So kann z.B. in der Entwicklung ein „Mixed Mock-Up"-Ansatz 
auf der Grundlage einer gemischt-virtuellen Umgebung die 

30 fruhen Entwicklungsphasen deutlich beschleunigen . Gegenu- 

ber immersiven, d.h. eintauchenden , „ Virtual Reality" - 
(VR) -Losungen besteht fur den Benutzer ein wesentlicher 
Vorteil darin, dafi die haptischen Eigenschaf ten mit Hilfe 
eines realen Modells naturgetreu abgebildet werden konnen, 

35 hingegen Aspekte der visuellen Wahrnehmung, z.B. fur An- 
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zeigenvarianten, virtuell manipulierbar sind. Dariiber 
hinaus besteht ein groSes Potential zur benutzerorientier- 
ten Validierung rechnergesttttzter Modelle, z.B. fur die 
Bauteilverif ikation oder bei Crash-Tests. 

5 • In der flexiblen Produktion kann unter anderem das Ein- 
richten von Maschinen far qualif izierte Facharbeiter we- 
sentlich erleichtert werden, indem, z.B. durch mobile AR- 
Komponenten, gemischt-virtuelle Spannsituationen direkt im 
Sichtfeld wiedergegeben werden. Eine f acharbeitergerechte 

10 Fertigungsplanung und Fertigungssteuerung in der Werkstatt 

wird erleichtert, wenn Inf ormationen Ober den jeweiligen 
Auf tragsstatus direkt in Verbindung mit den dazugehorigen 
Produkten vor Ort wahrgenommen werden. Das gleiche gilt 
auch ftir die Montage, wobei dem Monteur bereits in der 

15 Trainingsphase die einzelnen Arbeitsschritte gemischt-vir- 

tuell prasentierbar sind. In diesem Zusammenhang konnen, 
z.B. durch den Vergleich realer Montageablauf e mit Simula- 
tionsergebnissen, umfassende Optimierungen erreicht wer- 
den, die sowohl die Qualitat der Arbeitsplanung verbessern 

20 als auch den Montageprozefi in der kritischen Anlaufphase 

vereinfachen und beschleunigen. 

• Letztlich geniigen im Service herkommliche Technologien 
kaum mehr, urn die komplexen Diagnose- und Behebungsproze- 
duren zu unterstiitzen und zu dokumentieren. Da diese Pro- 

25 zesse in vielen Bereichen aber ohnehin auf Basis von digi- 

talen Daten geplant werden, bieten AR-Technologien die 
M6glichkeit, die Inf ormationsquellen fiir die Wartung zu 
ubernehmen und einem Techniker, z.B. in der Datenbrille, 
durch die Uberlagerung mit realen Objekten den Ausbauvor- 

30 gang zu erlautem. Mit Bezug auf kooperative Arbeit ermog- 

licht das AR-gestiitzte „Fernauge" eine verteilte Problem- 
losung, indem ein entfernter Experte mit dem Mitarbeiter 
vor Ort iiber globale Distanzen hinweg kommuniziert . Dieser 
Fall ist besonders fiir die uberwiegend mittelstandischen 

35 Werkzeugmaschinenhers teller relevant. Sie sind durch die 

Globalisierung gezwungen, Produktionsstatten ihrer Kunden 
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weltweit zu errichten . Jedoch ist eine Prasenz von Nieder- 
lassungen in alien wichtigen Markten weder aus wirtschaft- 
lichen Grunden realisierbar , noch kann auf das profunda 
Wissen erfahrener Service-Mitarbeiter des Stammhauses 
5 bzgl. der zunehmend komplexer werdenden Anlagen verzichtet 

werden . 

Die Besonderheit in der Mensch-Technik-Interaktion bei 
Augmented Reality liegt in einer sehr einfachen und intuiti- 
ven Kommunikation mit dem Computer, beispielsweise erg&nzt 

10 durch multimodale Interaktionstechniken wie Sprachverarbei- 
tung oder Gestikerkennung . Die Verwendung von tragbaren Com- 
putereinheiten ermoglicht darOber hinaus v6llig neue mobile 
Nut zungs s zenar ien , wobei die spezifischen Daten jederzeit 
tiber ein drahtloses Netz angefordert werden konnen. Neue Vi- 

15 sualisierungstechniken erlauben eine direkte Annotation, z.B. 
von MeS- oder Simulationsdaten, an das reale Objekt oder in 
die reale Umgebung. In Verbindung mit verteilten Anwendungen 
sind mehrere Benutzer in der Lage, in einer realen Umgebung 
mit Hilfe einer gemeinsamen Datenbasis zu arbeiten (shared 

20 augmented environments) oder in verschiedenen Umgebungen AR- 
gestutzt zu kooperieren. 

Augmented Reality wird erst seit wenigen J^hren intensiv er- 
forscht. Deshalb finden sich sowohl auf nationaler als auch 
internationaler Ebene nur wenige Anwendungen, zumeist in Form 
25 von wissenschaf tlichen Prototypen bei Forschungseinrich- 
tungen . 

• USA: Wie bei vielen neuen Technologien wurden die 
Nutzungspotentiale von Augmented Reality zuerst in 
Nordamerika erschlossen. Beispiele sind die Cockpit- 

30 gestaltung oder die Wartung von mechatronischen Gera- 

ten. Der Flugzeughersteller Boeing hat bereits erste 
Feldversuche im Bereich der Montage mit AR-Technolo- 
gien unternommen. Ergebnis ist, daS den USA auch in 
diesem Hightech-Bereich eine Schlusselstellung zu- 

35 kommt, die mit einer moglichen Technologief ahrer- 

schaf t einhergeht • 
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• Japan: In Japan werden verschiedene AR-Entwicklungen 
vorangetrieben, z.B. zur gemischt-virtuellen Gebaude- 
planung, Telepreisenz oder „ Cyber- Shopping w . Keimzelle 
ist das 1997 gegrundete Mixed Reality Systems Labora- 
5 tory, das als Kompetenzzentrum gemeinsam von Wirt- 

schaft und Wissenschaft getragen wird. Besondere Im- 
pulse im Konsumgiiterbereich sind zukunftig durch die 
japanische Industrie fur Unterhaltungselektronik zu 
erwar ten . 

10 • Europa: In Europa sind bislang nur sehr wenige For- 

schergruppen im AR-Bereich tatig. Eine Gruppe an der 
Universit&t Wien befaSt sich mit Ansatzen fur die ge- 
mischt-reale Visualisierung. Die Gruppe des IGD hat 
im Rahmen des inzwischen ausgelauf enen ACTS-Projektes 

15 CICC erste Anwendungen far die Bauindustrie und einen 

wissenschaft lichen Prototypen zur Mitarbeiterschulung 
im Automobilbau entwickelt. 

Die im Erf indung versteht sich insbesondere im speziellen 
Kontext der Anwendungsf elder "Produktions- und Werkzeugma- 
schinen" (NC-gesteuerte, automatisierungstechnische Prozesse) 
sowie "Diagnose-/Serviceuntersttttzungssysteme fttr komplexe 
technische Komponenten/Gerate/ Systeme M (z.B. Fahrzeuge, aber 
auch industrielle Maschinen und Anlagen) 



20 



25 Zur Unterstiitzung bei der Komplexit&t und Vielfalt der Gera- 
te/ Systeme /Anlagen, die von Servicemitarbeitern/Facharbeitern 
(im folgenden ^Personal*') in den Phasen vom Systemaufbau/In- 
betriebsetzung bis zur Wartung beherrscht werden muS, liegen 
heutzutage zumeist umfangreiche Dokumentationen vor. Im ein- 

3 0 zelnen handelt es sich hier um Handbiicher, System- und Funk- 
tionsbeschreibungen, Installationshinweise, etc. Je nach An- 
wendung ergibt sich eine grofie Inf ormationsvielf alt ; der Zu- 
griff auf die in konkreten Arbeitssituationen relevanten Be- 
schreibungen ist oft mit erheblichem Aufwand verbunden. 
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Neben der Problematik einer geeigneten Untersttitzung des In- 
f ormationszugrif f s ist heute keine adaquate Strukturierung 
der Dokumentation gegeben, die eine selektive Nutzung durch 
intelligentere Systeme, wie auf Basis von AR-Technologien, 
5 gezielt unterstiitzt . Derartige Systeme bendtigen den Zugriff 
auf ausgew&hlte Informationsdetails, die situationsgerecht 
dem Anwender zur Verftigung gestellt werden. Auch in der elek- 
tronisch bereitgestellten Dokumentation erfolgt die Orien- 
tierung heute noch im wesentlichen an der Papierform. 

10 Die Erfindung betrifft die geeignete Strukturierung und Be- 
reitstellung von Dokumentation ftir die Nutzung durch intel- 
ligenter Untersttitzungs systeme im oben genannten Sinn. 



Dokumentationen werden schon heute elektronisch verftigbar ge- 
15 macht. Mit einer geeigneten Strukturierung der Dokumente und 
ad&quaten Zugriff smechanismen (u.a. Hyperlinks) wird der DV- 
technische Zugang noch verbessert. 



Erf indungsgemaS wird der Inf ormationsgehalt der Dokumentation 
20 in unterscheidbare Einheiten gegliedert, wobei die Separation 
wesentlich untersttitzt zu unterscheiden zwischen Daten, die 
auch auf realer Information basieren (d.h. beobachtbarer In- 
formation - z.B. Objektbild) und Daten, die Zusatz information 
darstellen (z.B. Objekteigenschaf ten, objektbezogene Hantie- 
25 rungshinweise, Konstruktionsanleitungen, etc.). 

Durch eine solche „mehrschichtige w Strukturierung der Doku- 
mentation wird die enthaltene Information selektiv verftigbar 
gemacht . 

30 

Insgesamt kommt es zur Bereitstellung eines Systems, das die 
datentechnische Strukturierung und Nutzung von Dokumentation 
in folgendem Sinn unterstlitzt : 

• Die Dokumentation ist in mehreren Schichten (oder auch 
3 5 „Ebenen") organisiert; beispielsweise sind ein oder meh- 
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rere „statische Ebenen n vorstellbar (Skizzen, Bilder, Vi- 
deos, ...) und dariiberhinaus ein oder mehrere „ Animations- 
ebenen tt (Zusatzinf ormationen) mit unterschiedlich detail- 
liertem und klassif izierten Inf ormationsgehalt . 

5 • Damit liegt eine Trennung des Inf ormationsgehalts vor hin- 
sichtlich dessen w was ohnehin sichtbar ist w (die gegebene 
Realitat im Anwendungsf all ) und dem ff was zusatzlich niitz- 
lich ist w (Zusatzinf ormation / Inf ormationsdetails) . 

• Der Zugriff auf die Information ist objektorientiert mog- 
10 lich, um situationsgerecht schnellen Zugang zu den bend- 

tigten Daten zu haben. 



Ein Ausfuhrungsbei spiel kommt im Kontext Nutzung AR-basierter 
Technologien mit autorciatischer Umgebungsidektif ikation zum 

15 Einsatz: Die Darstellung eines Rohrleitungssys terns, beispiel- 
haft der Mittelteil im Rumpf eines Flugzeug, entspricht in 
diesem Fall der gegebenen Realitat, die der Werker in seinem 
Einsatzumf eld vorfindet. Diese Situation wird vom Untersttit- 
zungssystem z.B. durch eine Kamera wahrgenommen/auf gezeichnet 

20 und dient u.a. zur Ermittlung des Einsatzkontextes („welches 
Objekt betrachtet der Werker? w ) . Daraus leitet das AR-System 
die Zusatzinf ormation ab, die nun situations-entsprechend der 
mehrschichtig vorliegenden Dokumentation entnommen wird (d.h. 
zugeordnet dem beobachteten Objekt) . Diese Zusatzinf ormation 

25 wird nun durch das Unterstiitzungs-System, in passender Uber- 
deckung mit dem Realbild, dem Anwender ins Sichtfeld einge- 
blendet, z.B. die durchzuftihrenden Arbeitsschritte . 



Ein wei teres Ausf uhrungsbeispiel besteht im Kontext eher her- 
30 kommlicher Dokumentationsnutzung : Der Benutzer hat die Anwen- 
dungs situation selbst identif iziert und dem Untersttttzungs- 
system vermittelt (z.B. durch BarCode-Identif ikation oder 
herkommliche DV-technisch unterstutzte Auswahlmechanismen) . 
Aus der mehrschichtig vorliegenden Dokumentationsbasis wird 
35 nun situtationsgema£ ein statisch vorliegendes Bild bzw. Vi- 
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deo genutzt. Das Unterstiitzungssystem des Anwenders selek- 
tiert wiederum automatisch Zusatzinf ormation aus der mehr- 
schichtigen Dokumentation, die aus einer weiteren, dem Situa- 
tionsobjekt zugeordneten Ebene entstammt. Die Presentation im 
5 Sichtfeld des Benutzers erfolgt nun durch (Jberlagerung dieser 
Inf ormationsschichten (Bilder /Videos sowie Zusatzinf orma- 
tion) . 

Im Fall von Abbildung 3 wiirde beispielsweise eine Trennung 
von Informationen wie folgt vorliegen: 

10 • reale, beobachtbare Information w&re in diesem Fall die 
Darstellung der Rohrleitungen im Hintergrund - dokumen- 
tiert entweder als statisches Bild oder auch als Video 

• durch Zugriff auf eine separate Schicht der Dokumentation 
liegen die Daten der einblendbaren Hantierungshinweise vor 

15 • wiederum separiert davon liegen Detailinf ormationen fiir 

die Durchfuhrung des Arbeitsvorgangs oder technische Daten 
fur das hantierte Objekt ( w zu montierende Rohrleitung" ) 
vor . 



20 Ein Einsatzgebiet besteht im Bereich Entwicklung, Produktion 
und Service auf der Basis von durchsichtigen Datenbrillen in 
Verbindung mit tragbaren Computern, als Beispielszenario fiir 
Augmented Reality-unterstiitzte Produktion oder als Augmented 
Reality fur Service und Wartung. 

25 

Zusammenf assend betrif ft die Erfindung somit System und ein 
Verfahren zur Dokumentationsverarbeitung insbesondere fiir 
technische und industrielle Anwendungen mit Speichermitteln 1 
zur Speicherung von Dokumentationsdaten II . . In in mehreren 

30 Ebenen El.. Em und mit Erf assungsmitteln 2 zur Erfassung von 
realen Informationen R, mit Zugriff smitteln zum Zugriff auf 
die Dokumentationsdaten II.. In und mit Auswertemitteln A zur 
Auswertung der realen Information R und zur Auswahl der ge- 
speicherten Dokumentationsdaten in Abh&ngigkeit der realen 

35 Informationen R. Hierdurch wird beispielsweise fiir Servicean- 
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wendungen vor Ort, d.tu. beispielsweise am Ort einer Automat i- 
sierungsanlage durch die Einbindung der Dokumentationsdaten 
II.. In als Augmented-Reality ein strukturierter und selekti- 
ver Zugriff auf die Dokumentationsdaten ermoglicht. 
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Patentansprtiche 

1. System zur Dokumentationsverarbeitung insbesondere ftir 
technische und industrielle Anwendungen mit Speichermitteln 

5 (1) zur Speicherung von Dokumentationsdaten (II.. In) in meh- 
reren Ebenen (El.. Em) und mit Erf assungsmitteln (2) zur Er- 
fassung von realen Inf ormationen (R) , mit Zugrif f smitteln zum 
Zugriff auf die Dokumentationsdaten (II.. In) und mit Auswer- 
temitteln (A) zur Auswertung der realen Information (R) und 
10 zur Auswahl der gespeicherten Dokumentationsdaten in Abh&n- 
gigkeit der realen Inf ormationen (R) . 

2. System nach Anspruch 1, 

dadurch gekennzeichnet, 
15 daS die Dokumentationsdaten (II.. In) objektorientiert gespei- 
chert sind. 

3. System nach einem der AnsprQche 1 oder 2, 
dadurch gekennzeichnet, 

20 daS die Erf assungsmittel (2) eine Bildaufnahmevorrichtung 

aufweisen, da£ die Auswertemittel (A) zur Auswertung der rea- 
len Information (R) in der Weise vorgesehen sind, dafi aus der 
realen Information ein Eisatzkontext , insbesondere ein Objekt 
der Dokumentationsdaten (II.. In) ermittelt wird und daS das 

25 System Visualisierungsmittel (B) zur Visual isierung der Doku- 
mentationsdaten aufweist. 

4. System nach einem der Anspruche 1 bis 3, 
dadurch gekennzeichnet, 

30 daS die Erf assungsmittel (2) anwendergesteuert sind und ins- 
besondere als sprachgesteuerte Erf assungsmittel und/oder 
durch Steuerdaten gesteuerte Erf assungsmittel ausgebildet 
sind. 
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5. System nach einem der Ansprtiche 1 bis 4, 
dadurch gekennzeichnet, 

dafi die Erf assungsmittel (2) und/oder die Visualisierungs- 
mittel als Datenbrille ausgebildet sind. 

6. Verfahren zur Dokumentationsverarbeitung insbesondere fur 
technische und industrielle Anwendungen, bei dem Dokumenta- 
tionsdaten (II.. In) in mehreren Ebenen (El.. Em) gespeichert 
werden und reale Inf ormationen (R) mit Erf assungsmitteln (2) 
erfafit werden, bei dem auf die Dokumentationsdaten (II.. In) 
in der Weise zugegriffen wird, dafi die realen Inf ormationen 
(R) ausgewertet werden und in Abhangigkeit der realen Infor- 
mationen (R) die gespeicherten Dokumentationsdaten (II.. In) 
ausgewahlt werden. 

7. Verfahren nach Anspruch 6, 
dadurch gekennzeichnet, 

daS die Dokumentationsdaten (II.. in) objektorientiert gespei- 
chert sind. 

8. Verfahren nach einem der Anspruche 6 oder 7, 
dadurch gekennzeichnet, 
dafi die realen Inf ormationen mittels einer 

Bildaufnahmevorrichtung erfafit werden, daS aus der realen In- 
formation ein Eisatzkontext, insbesondere ein Objekt der Do- 
kumentationsdaten (II.. in) ermittelt wird und daS die ermit- 
telten Dokumentationsdaten (II.. in) uber Visualisierungsmit- 
tel (B) visualisiert werden. 

9. Verfahren nach einem der Anspruche 6 bis 8, 
dadurch gekennzeichnet, 

daS die Erf assungsmittel (2) anwendergesteuert sind und ins- 
besondere als sprachgesteuerte Erf assungsmittel und/oder 
durch Steuerdaten gesteuerte Erf assungsmittel ausgebildet 
sind. 
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10. Verfahren nach einem der Anspriiche 6 bis 9, 
dadurch gekennzeichnet, 

daB die Erf assungsmittel (2) und/oder die Visualisierungsmit- 
tel als Datenbrille ausgebildet sind. 
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